Huyện được thành lập ngày 18 tháng 11 năm 1983 theo Quyết định số 136/HĐBT của Hội đồng Bộ trưởng trên cơ sở tiếp nhận 10 xã: Đường Âm, Giáp Chung, Lạc Nông, Minh Ngọc, Minh Sơn, Phú Nam, Thượng Tân, Yên Cường, Yên Định, Yên Phú từ huyện Vị Xuyên, khi đó thuộc tỉnh Hà Tuyên.[4]

Ngày 13 tháng 2 năm 1987, chia xã Đường Âm thành 2 xã lấy tên là xã Đường Âm và xã Đường Hồng; chia xã Yên Cường thành 2 xã lấy tên là xã Yên Cường và xã Phiêng Luông; chia xã Yên Phú thành 2 xã lấy tên là xã Yên Phú và xã Yên Phong.

Năm 1991, tỉnh Hà Giang được tái lập từ tỉnh Hà Tuyên, Bắc Mê thành huyện của tỉnh Hà Giang.

Ngày 31 tháng 3 năm 2009, chuyển xã Yên Phú thành thị trấn Yên Phú - thị trấn huyện lị huyện Bắc Mê.